Ngay sau khi Hitler được chỉ định làm Thủ tướng Đức, Tòa nhà Quốc hội Đức bị phóng hỏa và Marinus van der Lubbe, một người Hà Lan theo chủ nghĩa cộng sản hội đồng được tìm thấy gần tòa nhà. Chính quyền Quốc xã công khai đổ tội phóng hỏa cho những kẻ gây rối cộng sản nói chung, mặc dù tại tòa án Đức năm 1933, tòa phán quyết rằng van der Lubbe thực hiện hành động một mình, điều mà người này tuyên bố. Sau vụ hỏa hoạn, luật giam giữ phải có xét xử bị đình chỉ. Đạo luật Cho phép, Đạo luật trao quyền lãnh đạo chuyên chế nước Đức cho Hitler một cách hợp pháp, đã được Quốc hội thông qua sau khi toàn bộ nghị viên cộng sản đã bị bắt và tống giam.

KPD bị Quốc xã đàn áp dữ dội. Hàng ngàn đảng viên Cộng sản bị giam giữ trong các trại tập trung, trong đó có cả Thälmann. Các nhà lãnh đạo KPD cao nhất trốn thoát được có Wilhelm Pieck và Walter Ulbricht, chạy sang Liên Xô. KPD duy trì tổ chức ngầm tại Đức trong suốt thời kỳ Quốc xã, nhưng sự mất mát những thành viên chủ chốt khiến cho nền tảng của Đảng bị suy yếu nghiêm trọng.